Procesos Estocásticos 2025

Descripción del curso

Bienvenidos al curso de Procesos Estocásticos IESTA-2025. Esta página contiene todo el material del curso , la página contiente

Docentes a cargo

  • Matías Carrasco
  • Lucca Frachelle

Temario

Este es el temario propuesto para el curso. Se podrá exonerar la parte escrita del examen si se obtiene un mínimo del 40% del total de puntos en cada revisión y un promedio de al menos 60% entre ambas revisiones.

Contenido Sintético

  1. Procesos estocásticos: introducción, definiciones, ejemplos.
  2. Problema de la ruina.
  3. Paseos aleatorios en tiempo discreto.
  4. Martingalas.
  5. Aplicaciones a la Optimización y Aproximación Estocástica.
  6. Cadenas de Markov en tiempo discreto.
  7. Stochastic Bandits.

Contenido Desagregado

  1. Procesos estocásticos
    • Introducción y motivación.
    • Definición general.
    • Ejemplos.
  2. Problema de la ruina
    • Cálculo de la probabilidad de ruina.
    • Tiempo medio de duración del juego.
    • Recurrencia y fórmulas explicitas.
    • Límite cuando el capital tiende a infinito.
  3. Paseos aleatorios en tiempo discreto
    • Principio de reflexión.
    • Probabilidad de retorno.
    • Tiempo medio de retorno.
    • Distribución del primer retorno.
  4. Martingalas
    • Filtraciones y Esperanza Condicional.
    • Definición, Propiedades y Ejemplos.
    • Tiempos de parada.
    • Teorema del muestreo opcional de Doob.
    • Aplicaciones al problema de la ruina.
    • Teorema de convergencia.
  5. Aplicaciones a la Optimización y Aproximación Estocástica
    • Teorema de Robbins-Monro.
    • Descenso Estocástico de Gradiente.
    • Aplicaciones en Optimización y Machine Learning.
  6. Cadenas de Markov en tiempo discreto
    • Propiedad de Markov, Matriz de transición, Ejemplos de CM.
    • Cadenas absorbentes.
    • Probabilidad y tiempo medio de absorción.
    • Aplicaciones al problema de la ruina.
    • Cadenas ergódicas.
    • Tiempo de primer retorno.
    • Número medio de retornos.
    • Estados recurrentes y transitorios.
    • Recurrencia positiva y nula.
    • Periodicidad y Aperiodicidad.
    • Distribución límite.
    • Estacionariedad.
    • Propiedad Fuerte de Markov.
    • Teorema Ergódico.
    • Aplicaciones a los Modelos de Lenguaje.
  7. Stochastic Bandits
    • Formulación del problema clásico.
    • Regret esperado y cotas.
    • Algoritmos: \(\epsilon\)-greedy, UCB, Thompson Sampling.
    • Comparaciones empíricas.
    • Aplicaciones modernas.

Evaluación

El sistema de evaluación incluye dos revisiones. La primera tiene un puntaje máximo de 50 y mínimo de 20, mientras que la segunda también tiene un máximo de 50 y un mínimo de 20. La calificación total es de 100 puntos, con un mínimo de 60 para aprobar.

Fechas de revisión

  • Primera revisión: 10 de octubre de 2025
  • Segunda revisión: 04 de diciembre de 2025

Bibliografía

  • Lanchier, Nicolas. Stochastic modeling. Berlin: Springer, 2017.
  • Privault, Nicolas (2013). Understanding Markov Chains. Examples and Applications, Springer, ISBN 978-981-4451-51-2 (eBook).
  • Petrov and Mordecki. Teoría de la probabilidad. Dirac, 2008.
  • Walton, Neil. Stochastic Control. (2021).